每天的專案會同步到 GitLab 上，可以前往 GitLab 查看。
有興趣的朋友歡迎留言 or 來信討論，我的信箱是 nickchen1998@gmail.com。

什麼是 RAG？

RAG 是一種基於檢索式生成（Retrieval-Augmented Generation）的模型，它是一種結合了檢索式和生成式的語言模型。
RAG 模型的主要目的是解決傳統生成式模型的問題，例如生成式模型在生成長文本時容易出現重複、無意義的問題。

下面簡單列出 RAG 時常會被應用的場景：

• 智能客服：使用 RAG 技術，客服系統可以在回答用戶問題時參考公司內部文檔或知識庫，提供更準確的支持。
• 問答系統：RAG 可以在用戶詢問問題時檢索相關文獻或知識庫條目，然後生成包含實際資料的回答。
• 教育輔助：為學生提供即時且準確的學術或技術問題的解答，引用教科書或學術論文中的信息。

RAG 的概念

RAG 是 Retrieval-Augmented Generation 的縮寫，它代表了一種將信息檢索（Retrieval）與文本生成（Generation）結合起來的技術，用於提高自然語言處理系統的性能。

Retrieval（檢索）

檢索指的是從一個大型的外部數據庫或知識庫中找到與用戶查詢相關的資料。這些資料可能包括文章、文件、數據庫條目，甚至是網頁內容。
在 RAG 系統中，檢索是第一步。當用戶輸入一個查詢時，系統不僅依賴於內部預先訓練的知識來回答問題，而是主動地去搜索相關的外部資源來獲取最新、最相關的信息。
這個步驟非常關鍵，因為檢索到的資料質量將直接影響到生成的回應質量。檢索技術通常依賴於像 TF-IDF、BM25、或更先進的深度學習模型，如基於 BERT 的檢索模型。

Augmentation（增強）

在 RAG 中，"Augmentation" 代表的是一種增強過程，即利用檢索到的資料來增強或補充生成模型的輸出。
檢索到的資料被用來輔助文本生成模型，這些資料可以作為模型的附加上下文，讓模型更準確地理解用戶的查詢背景，並生成更合適的回應。
增強的過程不僅限於提供額外的信息，還可以是對生成模型的一種約束，防止它生成與事實不符的內容。

Generation（生成）

生成是指語言模型根據檢索到的資料和用戶查詢來創建自然語言文本的過程。
在這個階段，生成模型（如 GPT-3、GPT-4）會結合檢索到的信息，通過一系列的計算和預測，產生一個符合語法和語義的答案。
與傳統的僅基於生成的模型相比，RAG 模型的生成部分更加強調與現實世界的數據和信息保持一致。這使得生成的回應不僅能夠靈活表達，而且能夠更好地依據真實資料來回答問題。

下面附上基本的 RAG 流程：

RAG V.S. Fine-tuning

內容預告

今天我們簡單介紹了一下甚麼是 RAG 以及他的概念，而我們已經有了 LangChain 以及 embedding 的基本知識，接著我們就要針對如何建立自己的向量資料庫
來做說明，明天我們會介紹一些 LangChain 已經協助我們建立好的解檔器。